与标准动态范围(SDR)视频相比,高动态范围(HDR)视频可以代表更大的亮度和色彩范围,并且正迅速成为行业标准。与传统SDR视频相比,HDR视频具有更具挑战性的捕获,传输和显示要求。凭借其更大的深度,高级的电流传输功能以及更广泛的颜色范围,因此需要专门设计用于预测HDR视频质量的视频质量算法。为此,我们介绍了HDR视频的首次公开发布的大规模主观研究。我们研究扭曲的影响,例如压缩和混叠对HDR视频质量的影响。我们还通过在黑暗实验室环境和更明亮的客厅环境中进行研究来研究环境照明对HDR视频感知质量的影响。总共有66名受试者参加了这项研究,并收集了20,000多个意见分数,这使得这成为有史以来最大的HDR视频质量研究。我们预计,该数据集将成为研究人员为HDR视频开发更好的感知质量模型的宝贵资源。
translated by 谷歌翻译
感知视频质量评估(VQA)是许多流和视频共享平台的组成部分。在这里,我们以自我监督的方式考虑学习具有感知相关的视频质量表示的问题。失真类型的识别和降解水平确定被用作辅助任务,以训练一个深度学习模型,该模型包含深度卷积神经网络(CNN),该模型提取了空间特征,以及捕获时间信息的复发单元。该模型是使用对比度损失训练的,因此我们将此训练框架和结果模型称为对比度质量估计器(Conviqt)。在测试过程中,训练有素的模型的权重被冷冻,并且线性回归器将学习的功能映射到No-Reference(NR)设置中的质量得分。我们通过分析模型预测与地面真相质量评级之间的相关性,并与最先进的NR-VQA模型相比,我们对多个VQA数据库进行了全面评估,并实现竞争性能在这些数据库上进行了培训。我们的消融实验表明,学到的表示形式非常强大,并且在合成和现实的扭曲中很好地概括了。我们的结果表明,可以使用自我监督的学习来获得具有感知轴承的引人注目的表示。这项工作中使用的实现已在https://github.com/pavancm/conviqt上提供。
translated by 谷歌翻译
自适应视频流依靠构建高效的比特梯梯子来在带宽约束下为观众提供最佳的视觉质量。与内容相关的比特阶梯选择的传统方法需要预先编码多个编码参数的视频镜头,以找到由结果质量曲线的凸壳给出的最佳操作点。但是,此预编码步骤等同于在可能的编码参数的空间上进行详尽的搜索过程,这在计算和时间支出方面都会引起大量开销。为了减少此开销,我们提出了一种基于深度学习的内容凸面预测的深度学习方法。我们采用经常​​性的卷积网络(RCN)来隐式分析视频拍摄的时空复杂性,以预测其凸壳。采用了两步转移学习方案来培训我们提出的RCN救主模型,该模型确保了足够的内容多样性来分析场景复杂性,同时也可以捕获原始源视频的场景统计信息。我们的实验结果表明,我们提出的模型可以更好地近似最佳凸壳,并与现有方法相比提供竞争性的时间。平均而言,我们的方法平均将预编码时间缩短了58.0%,而预测的凸壳相对于地面真理的平均Bjontegaard三角洲比特率(BD率)为0.08%,而BD率的平均绝对偏差为分布为0.44%
translated by 谷歌翻译
基于融合的质量评估已成为一种有力的方法,可以从单独实现较低性能的质量模型中开发高性能质量模型。这种算法的一个突出的例子是VMAF,该算法已被广泛用作与SSIM一起视频质量预测的行业标准。除了推进最先进的工作外,还必须减轻使用一组异质质量模型所带来的计算负担。在本文中,我们通过在一个公共转换域上计算出人类视觉系统的通用转换域来统一“原子”质量模型,并提出了Funque,这是一种融合统一质量评估者的质量模型。我们证明,与最先进的Funque相比,由于计算共享,Funque在与主观得分和效率的相关性方面都有显着改善。
translated by 谷歌翻译
视频质量评估(VQA)仍然是一个重要而挑战性的问题,影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获,处理和共度高分辨率,高分辨率(HFR)视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此,需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考(FR)分析,但是没有研究帧速率变化的无引用(NR)VQA算法的开发。在这里,我们提出了一种用于评估HFR视频的一级盲VQA模型,我们将其配给了帧群感知视频评估程序W / O参考(Faver)。 Faver使用扩展模型的空间自然场景统计数据,即包括节省空间小波分解的视频信号,进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明,PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估,在线可以在线进行狂热的实施:\ url {https://github.com/uniqzheng/hfr-bvqa}。
translated by 谷歌翻译
Block based motion estimation is integral to inter prediction processes performed in hybrid video codecs. Prevalent block matching based methods that are used to compute block motion vectors (MVs) rely on computationally intensive search procedures. They also suffer from the aperture problem, which can worsen as the block size is reduced. Moreover, the block matching criteria used in typical codecs do not account for the resulting levels of perceptual quality of the motion compensated pictures that are created upon decoding. Towards achieving the elusive goal of perceptually optimized motion estimation, we propose a search-free block motion estimation framework using a multi-stage convolutional neural network, which is able to conduct motion estimation on multiple block sizes simultaneously, using a triplet of frames as input. This composite block translation network (CBT-Net) is trained in a self-supervised manner on a large database that we created from publicly available uncompressed video content. We deploy the multi-scale structural similarity (MS-SSIM) loss function to optimize the perceptual quality of the motion compensated predicted frames. Our experimental results highlight the computational efficiency of our proposed model relative to conventional block matching based motion estimation algorithms, for comparable prediction errors. Further, when used to perform inter prediction in AV1, the MV predictions of the perceptually optimized model result in average Bjontegaard-delta rate (BD-rate) improvements of -1.70% and -1.52% with respect to the MS-SSIM and Video Multi-Method Assessment Fusion (VMAF) quality metrics, respectively as compared to the block matching based motion estimation system employed in the SVT-AV1 encoder.
translated by 谷歌翻译
用户生成的内容(UGC)的盲或禁区视频质量评估已成为趋势,具有挑战性,迄今未解决的问题。因此,适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明,自然场景统计和深度学习特征既足以捕获空​​间扭曲,这有助于UGC视频质量问题的重要方面。然而,这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里,我们为UGC含量介绍了一种有效且高效的视频质量模型,我们将我们展示快速准确的视频质量评估员(Rapique),我们展示了与最先进的(SOTA)模型相对表现,而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势,使我们能够设计用于视频质量建模的第一通用和有效的空间和时间(时空)带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明,Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途,在线进行了求助的实施:\ url {https://github.com/vztu/rapique}。
translated by 谷歌翻译
Accomplishing safe and efficient driving is one of the predominant challenges in the controller design of connected automated vehicles (CAVs). It is often more convenient to address these goals separately and integrate the resulting controllers. In this study, we propose a controller integration scheme to fuse performance-based controllers and safety-oriented controllers safely for the longitudinal motion of a CAV. The resulting structure is compatible with a large class of controllers, and offers flexibility to design each controller individually without affecting the performance of the others. We implement the proposed safe integration scheme on a connected automated truck using an optimal-in-energy controller and a safety-oriented connected cruise controller. We validate the premise of the safe integration through experiments with a full-scale truck in two scenarios: a controlled experiment on a test track and a real-world experiment on a public highway. In both scenarios, we achieve energy efficient driving without violating safety.
translated by 谷歌翻译
包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加,因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况,需要进行高效且准确的视频质量工具,以监视和感知优化通过Zoom,Webex,Meet等进行了优化的远程息息流量,因此,全球视频会议的全球互联网流量已大大增加,因此,现有模型在Multi上的预测能力受到限制。 - 模式,实时流媒体介绍内容。在这里,我们通过多种方式解决了远程敏感视频质量评估(TVQA)的重大挑战。首先,我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏,我们挤在了〜80k的主观质量标签上。使用此新资源,我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架,用于实时流媒体,以计算视觉和音频质量预测。我们的多合一模型能够在贴片,框架,剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能,计算费用降低,使其成为移动和嵌入式系统的有吸引力的解决方案。
translated by 谷歌翻译
本文描述了目前在为机器人开发道德体系结构方面的进展,该机器人旨在遵循人类的道德决策过程。我们对普通成年人(人)和道德专家(专家)进行了调查,以在两种特定情况下认为是道德行为:与老年人进行药丸和与孩子一起玩游戏。调查的关键目标是更好地了解人类的道德决策。在第一次调查中,民间回应是基于主题的道德选择(“民间道德”)。在第二次调查中,专家响应是基于专家在每种情况下使用不同形式的道德框架的应用。我们观察到,我们在调查中纳入的大多数正式伦理框架(功利主义,康德伦理,护理和美德伦理伦理)和“民间道德”和“民间道德”在高风险的任务中与老年人一起在高风险任务中保守孩子的表现不足。
translated by 谷歌翻译